บรรพบุรุษของเจ้าคุณจอมมารดาเอมนั้น มีประวัติว่า เป็นนายสำเภาจีนแซ่อ๋อง ชื่ออ๋องเฮงฉ่วนเข้ามาพึ่งพระบรมโพธิสมภารตั้งแต่รับสมัยสมเด็จพระสรรเพชญ์ที่ 9 แห่งอาณาจักรอยุธยา ได้รับราชการมีความดีความชอบหลายครั้ง จนถึงรัชสมัยสมเด็จพระเจ้าอยู่หัวบรมโกศ พระเจ้าแผ่นดินพระองค์ต่อมาได้โปรดเกล้าฯให้เป็น เจ้าพระยาพระคลัง คนทั่วไปจะเรียกว่าเจ้าพระยาพระคลังจีน ตั้งบ้านเรือนอยู่บ้านถนนตาล หลังวัดพนัญเชิง มีภรรยาและบุตรธิดาหลายคน คนหนึ่งชื่อเจ้าสัวอ๋องไซ ยังคงสืบต่อทำการเดินเรือสำเภาค้าขายระหว่างเมืองไทยกับเมืองจีน ก่อนกรุงแตกได้คุมขบวนเรือข้าว 32 ลำ ตั้งใจว่าจะไปขายที่กำปงโสมเมืองเขมรเพราะได้ข่าวว่าปีนั้นเกิดทุพภิกขภัยรุนแรง ขณะจอดเทียบท่าเมืองตราดได้ข่าวว่า ในเขมรเกิดการจลาจลบ้านเมืองไม่ปลอดภัยทั้งทางบกและทางทะเล และกรุงศรีอยุธยาเองถูกพม่าข้าศึกมาล้อมไว้ตั้งแต่ตนออกเดินทางมาแล้ว จึงถอนเรือกลับมาดูเหตุการณ์อยู่ที่จันทบุรี จังหวะเวลาเดียวกับที่สมเด็จพระเจ้าตากสินทรงนำกองกำลังเข้าตีเมืองจันทบุรีได้สำเร็จ เจ้าสัวอ๋องไซได้ข่าวดังนั้นจึงนำเรือเข้าเทียบท่าถวายข้าวทั้งสิ้นให้พระเจ้าตาก ซึ่งทรงใช้เป็นยุทธปัจจัยในการรวบรวมผู้คนขึ้นจนเป็นกองทัพ สามารถกอบกู้เอกราชของชาติไทยได้ในที่สุด เจ้าสัวอ๋องไซมีความดีความชอบมาก จึงโปรดเกล้าฯให้เป็นที่พระยารัตนราชเศรษฐี รับราชการว่าที่กรมท่าซ้ายและเป็นเจ้าท่าเปิดระวางเรือสำเภาที่เข้าเทียบท่ากรุงธนบุรีทุกลำแต่ผู้เดียว กับทั้งได้พระราชทานที่ดินตำบลหนึ่งใกล้วัดสามเพ็ง(วัดปทุมคงคา) ให้สร้างบ้านเรือนอยู่เป็นหมู่ใหญ่ในบริเวณนั้น ซึ่งภายหลังต่อมาได้กลายเป็นศาลเจ้าปุนเถ้ากงไปในทุกวันนี้บุตรหลานของพระยารัตนราชเศรษฐี(อ๋องไซ)สามารถปักหลักค้าขายในกรุงธนบุรีและบางกอกสืบต่อกันอย่างมั่นคง บุตรคนหนึ่งชื่อเจ้าสัวบุญมาก มีบุตรคนหนึ่งชื่อเจ้าสัวบุญมี ผู้เป็นบิดาท่านเจ้าคุณจอมมารดาเอม

เจ้าคุณจอมมารดาเอมเป็นต้นราชสกุลฝ่ายหญิง โดยชั้นพระราชโอรสในพระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัว มี 1 ราชสกุลคือ ราชสกุลนวรัตน และชั้นพระราชนัดดา ในกรมพระราชวังบวรวิไชยชาญ มี 9 ราชสกุลคือ ราชสกุลวิไลยวงศ์ ราชสกุลกาญจนะวิชัย ราชสกุลสุทัศนีย์ ราชสกุลวรวุฒิ ราชสกุลรุจวิชัย ราชสกุลวิบูลยพรรณ ราชสกุลรัชนี และราชสกุลวิสุทธิ